Sammer chơi cho Dynamo Dresden, câu lạc bộ quê hương ông, từ 1987 đến 1990 và trở thành một trong những cầu thủ nổi tiếng đầu tiên của Đông Đức gia nhập một câu lạc bộ phương Tây sau khi nước Đức thống nhất khi ký hợp đồng với VfB Stuttgart năm 1990 (cầu thủ đầu tiên là Andreas Thom, đến Bayer Leverkusen từ BFC Dynamo). Sau đó ông chơi cho Inter Milan (1992-1993) và Borussia Dortmund (1993-1998). Ông có được 2 chức vô địch Đông Đức với Dynamo Dresden (1989, 1990) và 3 chức vô địch Đức, (1992 với VfB Stuttgart, 1995 và 1996 với Borussia Dortmund). Ông cũng có được 1 danh hiệu vô địch Cúp C1 châu Âu với Dortmund năm 1997.

Sau khi giải nghệ vì một chấn thương nặng ở đầu gối năm 1998, Sammer trở thành huấn luyện viên trưởng của Borussia Dortmund năm 2000, dẫn dắt đội đến chức vô địch quốc gia năm 2002. Đội bóng của ông lọt vào đến trận chung kết Cúp UEFA nhưng thua Feyenoord 2-3. Sammer huấn luyện VfB Stuttgart mùa bóng 2004-05, nhưng chỉ kéo dài trong một mùa bóng.

Ngày 1 tháng 4 năm 2006, ông được bổ nhiệm làm giám đốc kĩ thuật của Liên đoàn bóng đá Đức (DFB) trong thời gian 5 năm. Vị trí này mới có ở DFB, có trách nhiệm đối với các đội tuyển trẻ quốc gia, tìm kiếm tài năng trẻ từ 11 đến 18 tuổi, cũng như là áp dụng những thành quả mới nhất của khoa học thể thao vào quá trình huấn luyện của DFB. Sammer cũng tham gia xây dựng hệ thống chiến thuật của các đội tuyển quốc gia của Đức, bên cạnh huấn luyện viên trưởng đội tuyển quốc gia Jürgen Klinsmann (hiện giờ là Joachim Löw).